Nguyên tên ông là Nguyễn Khiêm Ích (阮謙益), người làng Kim Sơn, huyện Gia Lâm (Hà Nội), là cháu của Nguyễn Mậu Tài - thượng thư thời Lê Hy Tông. Người chồng của cô ông là Phạm Công Thiện, đã đỗ tiến sĩ, nuôi ông làm con nuôi, nên ông đổi sang họ Phạm.

Năm 1710 đời Lê Dụ Tông, ông thi đỗ Giải nguyên rồi đỗ Thám hoa đình nguyên khi 37 tuổi.

Năm 1720, ông được thăng làm Tả thị lang bộ Hình, rồi Hữu thị lang bộ Lại, tước Thuật Phương hầu, vào phủ chúa Trịnh làm Bồi tụng.

Năm 1723, ông làm chánh sứ sang Trung Quốc mừng vua Ung Chính nhà Thanh vừa lên ngôi. Khi tới Bắc Kinh, ông cùng mọi người trong đoàn dâng lên 3 bài thơ chúc mừng, được Ung Chính khen hay và mời vào yết kiến trong điện Càn Thanh[1].

Khi trở về, Phạm Khiêm Ích được phong làm Tả thị lang bộ Hộ, Thuật quận công; sau đó đổi sang làm Tả thị lang bộ Lại.

Năm 1728, vua Lê Dụ Tông thân chinh ra đề thi khoa Đông các. Ông làm bài "Năm được mùa to" rất được khen ngợi, được trúng thứ nhất[2]. Ông được kiêm chức Đại học sĩ Đông các. Sử sách còn chép lại bài thi này của ông.

Thời Lê Đế Duy Phường, Phạm Khiêm Ích được thăng làm Đô ngự sử, vẫn làm việc ở bộ Lại. Năm 1732 đời Lê Thuần Tông, ông được thăng làm Thượng thư bộ Binh, gia thăng Thiếu bảo vào phủ chúa làm Tham tụng.

Ít lâu sau do bị gièm pha, ông bị bãi chức[3], lại được chúa Trịnh xét công lao cũ nên cho làm Thượng thư bộ Lại.

Năm 1738 thời Lê Ý Tông, ông lại bị bãi chức Tể tướng. Năm 1739, ông ra làm Đốc phủ Thanh Hóa. Sau đó ông được thăng làm Thái tể.

Năm 1740, ông mất tại Thanh Hóa, thọ 62 tuổi, được truy tặng chức Đại tư không, thụy là Thuần Đạo.